home *** CD-ROM | disk | FTP | other *** search
/ Skunkware 5 / Skunkware 5.iso / src / Tools / freeWAIS-sf-1.1 / ir / waisserver.c < prev    next >
Encoding:
C/C++ Source or Header  |  1994-12-13  |  26.6 KB  |  956 lines
  1. /* WIDE AREA INFORMATION SERVER SOFTWARE    
  2.    No guarantees or restrictions.  See the readme file for the full standard 
  3.    disclaimer.
  4.    5.29.90    Harry Morris, morris@think.com
  5. */
  6.  
  7. /* Copyright (c) CNIDR (see ../COPYRIGHT) */
  8.  
  9.  
  10. /* this file is a server process for a unix machine that takes input from 
  11.    standard in or from a socket and searches the local search engine on the 
  12.    unix box.
  13.    originally written by harry morris.
  14.    modified by brewster kahle. 7/90
  15.    6.xx.90    Brewster - initial implementation of stdio interface
  16.    7.xx.90    Patrick Bray - support for headers and forking processes
  17.    90.07.31    Ephraim - support for logging 
  18.  
  19.    91.03.03     Jonathan - set searchLog to log_out.
  20.    91.05.23    Jonathan - added fork process for indexer.
  21.                            Fixed version display so it exits.
  22.    91.05.25     Jonathan - added setuid.
  23.    
  24.    Tue Jul  9 12:11:02 1991 -- Michael Haberler mah@wu-wien.ac.at
  25.  
  26.                 Added semi-intelligent INFO database indexing (only done if
  27.         any of the .src files is newer than INFO.dct)
  28.         
  29.         Locking against multiple concurrent INFO rebuilds if 
  30.         running under inetd
  31.  
  32.         Use scandir() for directory operations
  33.  
  34.         Works under inetd as well as standalone. Here are my inetd.conf
  35.            entries (not the missing userid in the Ultrix inetd.conf!):
  36.  
  37.    hpux 7.0/800, Interactive/386 2.2.1:
  38.     z3950 stream tcp nowait root /usr/local/etc/waisserver waisserver -s \
  39.         -d /usr/logins/mah/wais-sources
  40.  
  41.    Ultrix 4.1:
  42.     z3950 stream tcp nowait /usr/local/etc/waisserver waisserver -s \
  43.         -d /usr/logins/mah/wais-sources
  44.  
  45.    Also, add the next line to /etc/services, and tickle your YP server:
  46.     z3950           210/tcp         # wide area information server (wais)
  47.  
  48.  * $Log: waisserver.c,v $
  49.  * Revision 1.20  1994/12/13  18:52:45  pfeifer
  50.  * chip@chinacat.unicom.com (Chip Rosenthal) patches.
  51.  * Excluding the merge of libinv and libwais
  52.  *
  53.  * Revision 1.19  1994/11/28  14:00:21  pfeifer
  54.  * typo
  55.  *
  56.  * Revision 1.18  1994/11/22  16:39:56  pfeifer
  57.  * "matthew (m.) holiday" <holiday@bnr.ca>: There's an fflush() call
  58.  * missing in file waisserver.c just before the call to rewind(in).  This
  59.  * was a reported issue in freeWais 0.3 with respect to HPUX, that
  60.  * doesn't seem to have made it across to freeWais-sf.
  61.  *
  62.  * Revision 1.17  1994/09/09  09:00:32  pfeifer
  63.  * Fixed the MAX_OCCURANCES - STOP_WORD_FLAG bug
  64.  *
  65.  * Revision 1.16  1994/09/05  10:18:59  pfeifer
  66.  * Removed buggy init_add_word call
  67.  *
  68.  * Revision 1.15  1994/09/05  10:17:32  pfeifer
  69.  * shm patch
  70.  *
  71.  * Revision 1.14  1994/08/23  12:34:00  pfeifer
  72.  * Made client fork #undef'able
  73.  * Fixed umr bug
  74.  *
  75.  * Revision 1.13  1994/08/13  16:55:21  pfeifer
  76.  * added call to sayiamhere
  77.  *
  78.  * Revision 1.12  1994/08/12  17:46:29  pfeifer
  79.  * initialize dataops in main with zeroes.
  80.  *
  81.  * Revision 1.11  1994/08/08  07:33:01  pfeifer
  82.  * Moved wais_log_file_name and waislogfile to cutil.[ch]
  83.  *
  84.  * Revision 1.10  1994/08/05  07:12:58  pfeifer
  85.  * Release beta 04
  86.  *
  87.  * Revision 1.8  1994/05/20  12:58:39  pfeifer
  88.  * beta
  89.  *
  90.  * Revision 1.7  1994/03/23  12:57:16  huynh1
  91.  * calling of openDatabase and init_add_word modified.
  92.  * patchlevel 07.
  93.  *
  94.  * Revision 1.6  1994/03/21  17:27:40  huynh1
  95.  * patchlevel 07.
  96.  *
  97.  * Revision 1.5  1994/03/11  15:29:34  huynh1
  98.  * write_src_structure modified.
  99.  * Patchlevel 05.
  100.  *
  101.  * Revision 1.4  1994/03/08  21:07:12  pfeifer
  102.  * Patchlevel 04
  103.  *
  104.  * Revision 1.3  93/07/21  18:52:39  warnock
  105.  * Renamed from server.c.
  106.  * Added STELAR-specific patches
  107.  * 
  108.  * Revision 1.2  93/07/01  19:19:53  warnock
  109.  * gethostname -> mygethostname
  110.  * 
  111.  * Revision 1.1  1993/02/16  15:05:35  freewais
  112.  * Initial revision
  113.  *
  114.  * Revision 1.48  92/05/10  14:47:39  jonathan
  115.  * Update for release.
  116.  * 
  117.  * Revision 1.47  92/05/06  17:34:01  jonathan
  118.  * Changed auto-indexing of .src files to use filename_finish_header_function.
  119.  * 
  120.  * Revision 1.46  92/05/04  17:18:32  jonathan
  121.  * Fixed use of merge_pathname in creating INFO database.
  122.  * 
  123.  * Revision 1.45  92/04/28  15:19:18  jonathan
  124.  * Added decoding of IP address to DNS name in init message handler.
  125.  * 
  126.  * Revision 1.44  92/03/26  18:26:41  jonathan
  127.  * Added extra arguments to index_text_file call.
  128.  * 
  129.  * Revision 1.43  92/03/07  19:41:47  jonathan
  130.  * Added IBM defines, courtesy mycroft@hal.gnu.ai.mit.edu,
  131.  * 
  132.  * Revision 1.42  92/03/05  07:07:58  shen
  133.  * add two more dummy arguments to call to init_search_engine
  134.  * 
  135.  * Revision 1.41  92/02/27  09:58:50  jonathan
  136.  * Put back in setting of core limit to max value, when SET_LIMIT is defined.
  137.  * 
  138.  * Revision 1.40  92/02/24  10:07:41  jonathan
  139.  * Removed reporting functions.
  140.  * 
  141.  * Revision 1.39  92/02/21  12:27:15  jonathan
  142.  * Changed logging of segmentation violation and bus errors to mark log with
  143.  * an error code, and close code.
  144.  * 
  145.  * Revision 1.38  92/02/21  11:00:45  jonathan
  146.  * Added wais_log_level
  147.  * 
  148.  * Revision 1.37  92/02/19  10:16:25  jonathan
  149.  * Added build_catalog to auto-indexer.
  150.  * 
  151.  * Revision 1.36  92/02/16  12:33:21  jonathan
  152.  * Removed code refering to NOINETNTOA, since we should use inet_ntoa.
  153.  * 
  154.  * Revision 1.35  92/02/16  12:05:18  jonathan
  155.  * Added code for GCC incompatibility in inet_ntoa (passing structure as
  156.  * pointer).
  157.  * 
  158.  * Revision 1.34  92/02/14  09:07:34  jonathan
  159.  * Set MAXNAPTIME to 0 so it won't sleep.  Changed the WLOG_ERROR to
  160.  * WLOG_WARNING in the log entry.
  161.  * 
  162.  * Revision 1.33  92/02/12  13:44:20  jonathan
  163.  * Added "$Log" so RCS will put the log message in the header
  164.  * 
  165.  * 
  166.  */
  167.  
  168. #define SERVER_DATE "Fri April 9 1993"
  169.  
  170. #ifndef lint
  171. static char *RCSid = "$Header: /usr/local/ls6/src+data/src/freeWAIS-sf/ir/RCS/waisserver.c,v 1.20 1994/12/13 18:52:45 pfeifer Exp $";
  172. #endif
  173.  
  174. #define INFO_DICT    "INFO.dct"
  175. #define LOCKFILE    "/tmp/INFO.lock" /* while re-indexing INFO */
  176. #define NAPTIME     1             /* seconds */
  177. #define MAXNAPTIME  0        /* Don't wait, just go on. */
  178.  
  179. #include "server.h"
  180. #include "sockets.h"
  181. /* #include <sys/types.h> */
  182. #include <sys/stat.h>
  183. #ifdef ultrix
  184. #include <sys/file.h>
  185. #else
  186. #ifdef _IBMR2
  187. #include <fcntl.h>
  188. #else /* ! _IBMR2 */
  189. #ifdef USG
  190. #ifdef HAVE_SYS_FCNTL_H
  191. #include <sys/fcntl.h>
  192. #else
  193. #include <fcntl.h>
  194. #endif /* HAVE_SYS_FCNTL_H */
  195. #else
  196. #include <sys/file.h>
  197. #endif
  198. #endif /* _IBMR2 */
  199. #endif /* else ultrix */
  200. #ifdef SYSV            
  201. #define SIGCHLD SIGCLD
  202. #endif
  203. #include <signal.h>
  204. /*#include <string.h> */
  205. #ifdef HAVE_SYS_SELECT_H
  206. #include <sys/select.h>
  207. #endif /* HAVE_SYS_SELECT_H */
  208. #include "irdirent.h"
  209. #include "panic.h"
  210. #include "ustubs.h"
  211. #include "transprt.h"
  212. #include "wmessage.h"
  213. #include "ir.h"
  214. #include "wprot.h"
  215. #include "cutil.h"
  216. #include "futil.h"
  217. #include "irext.h"
  218. #include "irsearch.h"
  219.  
  220. /* to create the INFO index */
  221. #include "irtfiles.h"
  222. #include "irfiles.h"
  223. #include "irhash.h"
  224. #include "version.h"
  225.  
  226. #include <errno.h>
  227. #ifdef Mach 
  228. extern int errno;
  229. #endif
  230.  
  231. static long bufferSize = BUFSZ; /* how much we are using
  232.                                    (we get one of these per process) */
  233.  
  234.  
  235. /* Bitmap association table -- LEB/HSTX 8/5/92 */
  236. #ifdef STELAR
  237. #define LOOKUP_TABLE /archives/stelar/abs/wais/bitmap.table
  238.  
  239. char *bitmap_table = "LOOKUP_TABLE";
  240.  
  241. /* char *bitmap_table = "/archives/stelar/abs/wais/bitmap.table"; */
  242. #endif /* STELAR */
  243.  
  244. /*---------------------------------------------------------------------------*/
  245.  
  246. #define TIMEOUT_LENGTH 3600 /* one hour timeout. */
  247. #define IDLE_TIME "1 hour"
  248.  
  249. void
  250. serve_client(in,out, index_directory)
  251. FILE* in;
  252. FILE* out;
  253. char *index_directory;
  254. { 
  255.   char buf[BUFSZ];        /* contains the message and header */
  256.   char *bufPtr ;        /* points at the begining of the z3950 */
  257.   long size;            /* bytes in the z3950 message */
  258.   WAISMessage header;        /* for storing the header */
  259.   long i;
  260.   long bytesLeft;
  261.   struct itimerval new, old;
  262.   long nextChar;
  263.  
  264.   new.it_interval.tv_sec = 0;
  265.   new.it_interval.tv_usec = 0;
  266.   new.it_value.tv_sec = TIMEOUT_LENGTH;
  267.   new.it_value.tv_usec = 0;
  268.  
  269.   bzero(buf, BUFSZ*sizeof(char)); /* avoid umr (up)/8/94 */
  270.   getitimer(ITIMER_REAL, &old);
  271.   while (TRUE)
  272.     {
  273.       /* try to read the header */
  274.       for (i = 0; i < HEADER_LENGTH; i++)
  275.     { 
  276.       setitimer(ITIMER_REAL, &new, NULL);
  277.       nextChar = fgetc(in);
  278.       if (nextChar == EOF)    /* my connection exited, so will I */
  279.         { 
  280.           return;
  281.         }
  282.       else
  283.         buf[i] = (char)nextChar;
  284.     }
  285.  
  286.       setitimer(ITIMER_REAL, &old, NULL);
  287.       /* parse the header */
  288.       readWAISPacketHeader(buf,&header);
  289.  
  290.       /* make sure we have the right version.  
  291.      If we dont, we dont know what to do. */
  292.       if (header.hdr_vers > HEADER_VERSION)
  293.     panic("Incompatable header versions (Current version: %c, supplied version: %c.", 
  294.           HEADER_VERSION, header.hdr_vers) ;
  295.  
  296.       /* determine the size of the z3950 message */
  297.       {
  298.     char length_array[11];
  299.     strncpy(length_array, header.msg_len, 10);
  300.     length_array[10] = '\0';
  301.     size = atol(length_array);
  302.       }
  303.  
  304.       /* set bufPtr to start the z3950 message */
  305.       bufPtr = buf + HEADER_LENGTH ;
  306.  
  307.       /* read the z3950 message */
  308.       for (i = 0; i < size ; i++) {
  309.     setitimer(ITIMER_REAL, &new, NULL);
  310.     buf[i + HEADER_LENGTH] = (char)fgetc(in) ;
  311.       }
  312.  
  313.       fflush(in);
  314.       rewind(in);
  315.  
  316.       /* decode the z3950 if necessary */
  317.       transportDecode((long)header.encoding,bufPtr,&size);
  318.      
  319.       /* XXX handle compression options */
  320.  
  321.       /* process it the z3950 */
  322.       bytesLeft = bufferSize;
  323.  
  324.       size = interpret_buffer(bufPtr,size,bufPtr,bytesLeft,
  325.                   &bufferSize,(long)header.hdr_vers,
  326.                   index_directory); 
  327.  
  328.       /* re-encode the message if necessary */
  329.       transportCode((long)header.encoding,bufPtr,&size); 
  330.  
  331.       /* XXX handle compression options */
  332.  
  333.       /* write the new header */
  334.       writeWAISPacketHeader(buf,size,
  335.                 (long)header.msg_type,header.server,
  336.                 (long)header.compression,(long)header.encoding,
  337.                 (long)header.hdr_vers);
  338.  
  339.       /* write the whole response to the output file */
  340.       for (i = 0; i < size + HEADER_LENGTH; i++)
  341.     fputc(buf[i],out) ;
  342.  
  343.       fflush(out);        /* flush any file buffers */
  344.       rewind(out);        /* reset the file for read */
  345.  
  346.     }
  347. }
  348.  
  349. /*---------------------------------------------------------------------------*/
  350.  
  351. #ifndef ISC
  352. static void breakKey _AP((long s1,long s2,struct sigcontext* s3,char* s4));
  353. #endif
  354.  
  355. static void
  356. breakKey (s1,s2,s3,s4)
  357. long s1;
  358. long s2;
  359. struct sigcontext *s3;
  360. char *s4;
  361. {
  362.   if(0 != finished_search_engine())
  363.     panic("unable to close search engine");
  364.   panic ("got a ^c");
  365. }
  366.  
  367. /*---------------------------------------------------------------------------*/
  368.  
  369. void
  370. childhandler(sig, code, scp, addr)
  371. long sig, code;
  372. struct sigcontext *scp;
  373. char *addr;
  374. {
  375.   wait(NULL);            /* give the kid a decent burial */
  376.   signal (SIGCHLD, childhandler);  /* Dave Judd - IRIX requires resetting signal */
  377. }
  378.  
  379. /*---------------------------------------------------------------------------*/
  380.  
  381. void
  382. alarmhandler(sig, code, scp, addr)
  383. long sig, code;
  384. struct sigcontext *scp;
  385. char *addr;
  386. {
  387.   waislog(WLOG_HIGH, WLOG_CLOSE,
  388.       "Server idle longer %s. Closing server and exiting.", IDLE_TIME);
  389.   if(0 != finished_search_engine())
  390.     panic("unable to close search engine");
  391.   exit(0);
  392. }
  393.  
  394. /*---------------------------------------------------------------------------*/
  395.  
  396. void
  397. seghandler(sig, code, scp, addr)
  398. long sig, code;
  399. struct sigcontext *scp;
  400. char *addr;
  401. {
  402.   waislog(WLOG_HIGH, WLOG_ERROR, "Segmentation violation.");
  403.   waislog(WLOG_HIGH, WLOG_CLOSE, "Bummer. Closing server and exiting.");
  404. #ifdef DUMPCORE
  405.     abort();
  406. #else
  407.   exit(-1);
  408. #endif
  409. }
  410.  
  411. /*---------------------------------------------------------------------------*/
  412.  
  413. void
  414. bushandler(sig, code, scp, addr)
  415. long sig, code;
  416. struct sigcontext *scp;
  417. char *addr;
  418. {
  419.   waislog(WLOG_HIGH, WLOG_ERROR, "Bus error.");
  420.   waislog(WLOG_HIGH, WLOG_CLOSE, "Bummer. Closing server and exiting.");
  421. #ifdef DUMPCORE
  422.     abort();
  423. #else
  424.   exit(-1);
  425. #endif
  426. }
  427.  
  428. /*---------------------------------------------------------------------------*/
  429.  
  430. #include <pwd.h>
  431.  
  432. int finduid(name)
  433. char *name;
  434. {
  435.   struct passwd *pwent;
  436.  
  437.   if ((pwent = getpwnam(name)) == NULL) {
  438.     return -1;
  439.   }
  440.  
  441.   return(pwent->pw_uid);
  442. }
  443.  
  444. static  char *index_dir = NULL;
  445. static  time_t info_change_time;
  446. static  int indexing_needed = 0;
  447. static  char *info_dict = INFO_DICT;
  448.  
  449. extern int alphasort();
  450.  
  451. /* selecttion function for scandir()
  452.  * trigger on ".src" extension, regular file, and != "INFO.src"
  453.  * Indexing is needed if any of the .src files is younger than 
  454.  * INFO.dct
  455.  */
  456. static int
  457. srcfiles(e)
  458.     struct dirent *e;
  459. {
  460.     struct stat sb;
  461.     char *lastdot = strrchr(e->d_name,'.');
  462.     int candidate;
  463.  
  464.     candidate =    lastdot && 
  465.           (stat(merge_pathnames(e->d_name,index_dir), &sb) >= 0) && 
  466.           ((sb.st_mode & S_IFMT) == S_IFREG) &&
  467.           !strcmp(lastdot,source_ext) && 
  468.           strcmp(e->d_name,info_dict); /* whew */
  469.  
  470.         if (candidate) {
  471.         indexing_needed |= (sb.st_mtime > info_change_time);
  472.         return 1;
  473.     }
  474.     return 0;
  475. }
  476.  
  477.  
  478. /*---------------------------------------------------------------------------*/
  479.  
  480. #ifdef SET_LIMIT
  481. #include <sys/resource.h>
  482. #endif
  483.  
  484. #define INDEX_FORK
  485.  
  486. extern char *inet_ntoa ();
  487. extern char *syslog_name;
  488.  
  489. void
  490. main(argc,argv)
  491. int argc;
  492. char* argv[];
  493. { FILE *file;
  494.   long socket;
  495.   char *next_argument = next_arg(&argc, &argv), *command_name;
  496.   boolean use_stdio = TRUE;        /* default is true */
  497.   /* char *wais_log_file_name = NULL; */    /* name of file for error output */
  498.   int child_proc;        /* for the child process id */
  499.   char *uid_name = "root";    /* user id so setuid if root */
  500.   int uid = 0;        /* if not specified, leave as root. */
  501.   int child;
  502.   long cm_mem_percent = 0;  /* default */
  503.   struct stat statbuf;
  504.   struct dirent **list;
  505.   int naptime = 0;
  506.   extern char *sys_errlist[];
  507.   extern void filename_finish_header_function();
  508.   dataopsrec    dataops;  
  509.  
  510. #ifdef CACHE_SYN
  511.   int cachesyn = 0;
  512. #endif
  513.  
  514. #ifdef SET_LIMIT
  515.   struct rlimit rlp;
  516.  
  517.   getrlimit(RLIMIT_CORE, &rlp);
  518.   rlp.rlim_cur = rlp.rlim_max;
  519.   setrlimit(RLIMIT_CORE, &rlp);
  520.   getrlimit(RLIMIT_DATA, &rlp);
  521.   rlp.rlim_cur = rlp.rlim_max;
  522.   setrlimit(RLIMIT_DATA, &rlp);
  523. #endif
  524.  
  525. /* dgg -- must duplicate mods to irbuild.c, here is mini-build of INFO.src */
  526.   bzero(&dataops,sizeof(dataops));
  527.   dataops.separator_function= NULL;
  528.   dataops.header_function= NULL;
  529.   dataops.date_function= NULL;
  530.   dataops.finish_header_function= filename_finish_header_function;
  531.   dataops.type= "WSRC";
  532.   dataops.wordDelimiter= wordbreak_notalnum;
  533.   dataops.addseparatorwords= false;
  534.   dataops.extraheaderweight= true;
  535.   dataops.repeat_weight= 1;
  536.   dataops.minwordlen= 2;
  537.   stop_list_file("\0");
  538.   gDelimiters[0]= '\0';  
  539.   wordDelimiter= wordbreak_notalnum;   
  540. /* dgg -- end new inits */
  541.  
  542.   tcp_port = 210;            /* tcp_port to use */
  543.   command_name = next_argument;
  544.   syslog_name = (syslog_name = (char *)rindex(command_name, '/')) ? (syslog_name + 1) : command_name;
  545.   host_name[0] = 0;
  546.   host_address[0] = 0;
  547.  
  548.   server_name = s_malloc(255);
  549.   mygethostname(server_name, 255);
  550.  
  551.   wais_pid = getpid();
  552.  
  553.   if (!strcmp(command_name, "waisserver.d")) {
  554.     struct sockaddr_in source;
  555.     int sourcelen;
  556.  
  557.     sourcelen = sizeof(struct sockaddr_in);
  558.  
  559.     if (!getpeername(fileno(stdout),&source,&sourcelen)) {
  560.       struct hostent *peer = NULL;
  561.  
  562. #ifdef __DGUX__
  563.       peer = gethostbyaddr((char *)&source.sin_addr.s_addr, 4, AF_INET);
  564. #else
  565.       peer = gethostbyaddr(&source.sin_addr, 4, AF_INET);
  566. #endif
  567.  
  568.       if(peer != NULL) {
  569.     sprintf(host_name, "%s", peer->h_name);
  570.  
  571.     sprintf(host_address, "%s",
  572. #if defined(sparc) && defined(__GNUC__) && defined(INET_NTOA_WITH_POINTER)
  573.         inet_ntoa(&source.sin_addr)
  574. #else
  575.         inet_ntoa(source.sin_addr)
  576. #endif                /* sparc */
  577.         );
  578.       }
  579.     }
  580.     else sprintf(host_address, "Error getting socket: %d, %s.", errno, sys_errlist[errno]);
  581.  
  582.    use_stdio = TRUE;
  583.   }
  584.  
  585.   if (argc == 0){
  586. #ifdef CACHE_SYN
  587.     fprintf(stderr,"Usage: %s [-p [port_number]] [-s] [-d directory] [-u user] [-cmmem number] [-cachesyn] [-v]\n",
  588. #else
  589.     fprintf(stderr,"Usage: %s [-p [port_number]] [-s] [-d directory] [-u user] [-cmmem number] [-v]\n",
  590. #endif
  591.        command_name);
  592.     fprintf(stderr," -p [port] listen to the port.  If the port is supplied, then\n");
  593.     fprintf(stderr,"    that tcp_port number is used.  If it is not supplied \n");
  594.     fprintf(stderr,"    then the Z39.50 port (210) is used.\n");
  595.     fprintf(stderr," -d directory: means to use the directory as the source of databases.\n");
  596.     fprintf(stderr,"    Defaults to the current directory.\n");
  597.     fprintf(stderr," -e [file]: set log output to file, or /dev/null if not specified.\n");
  598.     fprintf(stderr," -l log_level: set log level.  0 means log nothing,\n");
  599.     fprintf(stderr,"    10 [the default] means log everything.\n");
  600.     fprintf(stderr," -s means listen to standard I/O for queries.  This is the default\n");
  601.     fprintf(stderr," -u user: if started as root, setuid to user after startup.\n");
  602.     fprintf(stderr," -cmmem number: percentage of CM memory to use (CM code only).\n");
  603. #ifdef CACHE_SYN
  604.     fprintf(stderr," -cachesyn: cache synonym table in shared memory (default is don't cache)\n");
  605. #endif
  606.     fprintf(stderr," -v prints the version.\n");
  607.     exit(1);
  608.   }
  609.   if(NULL == (next_argument = next_arg(&argc, &argv))){
  610.     fprintf(stderr,"No arguments specified\n");
  611.     exit(0);
  612.   }
  613.   while((next_argument != NULL) &&
  614.     ('-' == next_argument[0])){
  615.  
  616.     /* then we have an argument to process */
  617.     if (0 == strcmp("-p", next_argument)){
  618.       char *peek_argument = peek_arg(&argc, &argv);
  619.       use_stdio = FALSE;
  620.       if ((NULL != peek_argument) && /* if we are not out of args */
  621.       ('-' != peek_argument[0])){ { /* and the next isn't an option... */
  622.         /* get the port number */
  623.         tcp_port = atoi(next_arg(&argc, &argv));
  624.       }            /* end if (explicit tcp_port) */
  625.                     }
  626.     }                /* end if (-p) */
  627.     else if (0 == strcmp("-s", next_argument)){
  628.       use_stdio = TRUE;
  629.     }                /* end if (-s) */
  630.  
  631.     else if (0 == strcmp("-e", next_argument)) {
  632.       char *peek_argument = peek_arg(&argc, &argv);
  633.       wais_log_file_name = "/dev/null"; /* default to /dev/null */
  634.       if ((peek_argument != NULL) &&
  635.       ('-' != peek_argument[0])) {
  636.     wais_log_file_name = next_arg(&argc, &argv);
  637.       }                /* end if (explicit log file) */
  638.     }                /* end if (-e) */
  639.     else if (0 == strcmp("-l", next_argument)) {
  640.       wais_log_level = atol(next_arg(&argc, &argv));
  641.     }                /* end if (-l) */
  642.     else if (0 == strcmp("-d", next_argument)) {
  643.       index_dir = next_arg(&argc, &argv);
  644.     }
  645.     else if (0 == strcmp("-v", next_argument)) {
  646.       fprintf(stderr,"%s: %s, %s\n", command_name, VERSION, SERVER_DATE);
  647.     }
  648.     else if (0 == strcmp("-u", next_argument)) {
  649.       uid_name = next_arg(&argc, &argv);
  650.       if((uid = finduid(uid_name)) < 0)
  651.     panic("Couldn't find user %s.", uid_name);
  652.     }
  653.     else if(0 == strcmp("-cmmem", next_argument)){
  654.       if(NULL == (next_argument = next_arg(&argc, &argv)))
  655.     panic("Expected a number (1-100) for percentage of memory to use");
  656.       cm_mem_percent = atol(next_argument);
  657.       if(cm_mem_percent < 1)
  658.     panic("The -cmmem argument should not be less than 1 and less than 100");
  659.       if(cm_mem_percent > 100)
  660.     panic("Warning: The -cmmem parameter was %ld%%. It should be between 1-100.", cm_mem_percent);
  661.     }
  662. #ifdef CACHE_SYN
  663.     else if (0 == strcmp("-cachesyn", next_argument)) {
  664.       cachesyn = 1;
  665.     }
  666. #endif
  667.     else{
  668.       panic("Don't recognize the %s option", next_argument);
  669.     }
  670.     next_argument = next_arg(&argc, &argv);
  671.   }                /* end while (more arguments) */
  672.  
  673.   if (use_stdio && wais_log_file_name == NULL) 
  674.     wais_log_file_name = "/dev/null";
  675.  
  676.   if (wais_log_file_name == NULL) 
  677.     waislogfile = stderr;
  678.   else waislogfile = NULL;
  679.   
  680.   index_dir = index_dir ? index_dir : ".";  
  681.   info_dict = s_strdup(merge_pathnames(info_dict,index_dir));
  682.  
  683.   if(0 != init_search_engine(index_dir, false, true, cm_mem_percent,0,0))
  684.     panic("unable to initialize search engine");
  685.   
  686.   /* remember timestamp on INFO.dct if rebuilding needed 
  687.    * If it doesnt exist, it's assumed to be *very* old, to force
  688.    * re-indexing
  689.    */
  690.   info_change_time = (stat(info_dict,&statbuf) == -1) ? 0 : statbuf.st_mtime;
  691.   
  692.   /* compare with candidates */
  693.  
  694.   if (scandir(index_dir, &list, srcfiles, alphasort) < 0) {
  695.       waislog(WLOG_HIGH, WLOG_ERROR, 
  696.           "Error: reading directory %s, %s", 
  697.           index_dir, sys_errlist[errno]);
  698.       indexing_needed = FALSE;
  699.   }
  700.   
  701.   /* ok. we know if we need indexing, 
  702.    * and have all the filenames. 
  703.    */
  704.   
  705.   if (info_change_time == 0) indexing_needed = TRUE;
  706.   if (indexing_needed) {
  707. #ifndef DO_NOT_TELL_ABOUT_ME
  708.     extern int sayiamhere _AP(());
  709.     sayiamhere();
  710. #endif
  711.  
  712.     /* Time to re-index,
  713.      * aquire the lock 
  714.      */
  715.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  716.         "re-indexing needed, info_change_time=%d",info_change_time); 
  717.  
  718.     if (open(LOCKFILE, O_WRONLY|O_CREAT|O_EXCL,0666) == -1) {
  719.       
  720.       /* already locked by somebody else
  721.        * spin  till she finishes
  722.        */
  723.       while (!(stat(LOCKFILE,&statbuf) == -1)) {
  724.     sleep(NAPTIME);
  725.     naptime += NAPTIME;
  726.     waislog(WLOG_MEDIUM, WLOG_INFO,
  727.         "INFO locked, waiting since %d seconds", naptime);
  728.     if (naptime  > MAXNAPTIME)  {
  729.  
  730.       waislog(WLOG_HIGH, WLOG_WARNING,
  731.           "Warning - lockfile %s won't go away after %d seconds, not reindexing.", 
  732.           LOCKFILE, naptime);
  733.       break;
  734.     }
  735.       }
  736.       /* if lockfile went away, assume INFO.* build finished
  737.        * so just use it
  738.        */
  739.     } else {            /* we aquired the lock, so rebuild database  */
  740.       
  741. #ifdef INDEX_FORK
  742.       if (!(child = fork())) {
  743. #endif
  744.     database *db;
  745.     struct dirent **s = list;
  746.     char filename[MAX_FILENAME_LEN], *dbname;
  747.  
  748.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  749.         "Creating INFO database, pid=%d",getpid());
  750.     dbname = s_strdup(merge_pathnames("INFO",    index_dir));
  751. #ifdef FIELDS /* tung, 3/94 */
  752.     db = openDatabase(dbname, true, false, false); 
  753. #else
  754.         db = openDatabase(dbname, true, false);
  755. #endif
  756.     s_free(dbname);
  757.  
  758.     init_add_word(db, 0, 100000L);
  759.  
  760.     while (*s) {        /* index it */
  761.       strncpy(filename, index_dir, MAX_FILENAME_LEN);
  762.       if(index_dir[strlen(index_dir) -1] != '/')
  763.         strncat(filename, "/", MAX_FILENAME_LEN);
  764.       strncat(filename, (*s)->d_name, MAX_FILENAME_LEN);
  765.       waislog(WLOG_MEDIUM, WLOG_INDEX,
  766.           "Indexing %s", filename);
  767.       index_text_file(filename, &dataops, db, true, false,
  768.               false, true
  769. #ifdef FIELDS /* tung, 5/94 */ 
  770.               ,-1
  771. #endif
  772.               );    
  773.       s++;
  774.     }
  775.     freedir(list);        /* array of filenames */
  776.           
  777.     if(!probe_file(source_filename(filename, db)))
  778.       write_src_structure(source_filename(filename, db),
  779.                   "INFO", "WSRC", NULL, 0L, true, 
  780. #ifdef FIELDS /* tung, 3/94 */                              
  781.                               tcp_port, db);
  782. #else
  783.                               tcp_port);
  784. #endif
  785.     finished_add_word(db);
  786.     build_catalog(db);
  787.     closeDatabase(db);
  788.     if (unlink(LOCKFILE))
  789.       panic("Indexer: cant unlink lockfile!\n");
  790.     waislog(WLOG_MEDIUM, WLOG_INDEX,
  791.         "Indexer pid=%d done", getpid());
  792.           
  793. #ifdef INDEX_FORK
  794.     exit(0);        /* indexing child */
  795.       }
  796.       else if (child == -1) {
  797.     waislog(WLOG_HIGH, WLOG_ERROR,
  798.         "Unable to fork for indexer.");
  799.     exit(1);
  800.       }
  801.       /* wait for child process */
  802.       else while (wait(0) != child) ; /* do nothing */
  803. #endif      
  804.     }
  805.   }
  806.  
  807.  
  808.   if (use_stdio == TRUE) {
  809.     if(host_address[0] != 0){
  810.       waislog(WLOG_MEDIUM, WLOG_CONNECT,
  811.           "Accepted connection from: %s [%s], %s",
  812.           host_name, host_address, VERSION);
  813.     }
  814.     else{
  815.       waislog(WLOG_MEDIUM, WLOG_CONNECT,
  816.           "Couldn't determine peer connection. %s", VERSION);
  817.     }
  818.  
  819.     if ( server_security(index_dir,NULL) != true ){
  820.       waislog(WLOG_HIGH, WLOG_INFO,"Closing down server");
  821.       exit(-1);
  822.      }
  823.  
  824.   }
  825.   else{
  826.     waislog(WLOG_MEDIUM, WLOG_INFO, "Running server %s", VERSION);
  827.   }
  828.  
  829.   signal(SIGINT, breakKey);
  830.  
  831.   signal(SIGCHLD, childhandler);      /* XXX dont really need this any more */
  832.   signal(SIGALRM, alarmhandler);
  833.  
  834.   signal(SIGSEGV, seghandler);
  835.  
  836.   signal(SIGBUS, bushandler);
  837.  
  838.   if(use_stdio == FALSE)
  839.    { 
  840.      if (tcp_port < 1024 && getuid() != 0) {
  841.        waislog(WLOG_HIGH, WLOG_ERROR,
  842.            "Error opening port %d:  Must be superuser to use a port < 1024",
  843.            tcp_port);
  844.        exit(-1);
  845.      }
  846.  
  847.      open_server(tcp_port,&socket,BUFSZ);
  848.  
  849. #ifdef SECURE_SERVER
  850.      /* if root, setuid to user specified id. */
  851.      if (uid > 0 && getuid() == 0)  {
  852.        waislog(WLOG_MEDIUM, WLOG_INFO,
  853.            "Setting uid to %s.", uid_name);
  854.         if (wais_log_file_name && *wais_log_file_name &&
  855.         chown(wais_log_file_name,uid,getgid()) < 0)
  856.      waislog(WLOG_HIGH, WLOG_ERROR,
  857.          "Unable to chown log file to %s!", uid_name);
  858.        if ( 0 > setuid(uid)) {
  859.      waislog(WLOG_HIGH, WLOG_ERROR,
  860.          "Unable to setuid to %s!  Exiting.", uid_name);
  861.      exit(-1);
  862.        }
  863.      }
  864. #endif
  865.  
  866. #ifdef CACHE_SYN
  867.      if (cachesyn) {
  868.        /* create and attach master shared memory segment containing info
  869.     * on cached synonyms (see synonym.c) */
  870.        int shm_key = 1, shm_cnt = 0;
  871.        char *pcs = NULL;
  872.        t_cacheSyn *cs = NULL;
  873.        cacheSynId = -1;
  874.        while (cacheSynId == (-1)) {
  875.      cacheSynId = shmget (shm_key, MAX_SYN_CACHE * sizeof(t_cacheSyn), 
  876.                   0644 | IPC_CREAT | IPC_EXCL);
  877.      if (cacheSynId == (-1) && errno != EEXIST) 
  878.         break;
  879.      shm_key++;
  880.        }
  881.        if (cacheSynId <= 0) {
  882.      cacheSynId = 0;
  883.      waislog (WLOG_HIGH, WLOG_WARNING, 
  884.           "Warning: cannot get shared memory area for synonyms, caching disabled");
  885.        }
  886.        else {
  887.      /* get shared memory for and initialize t_cacheSyn structure */
  888.      if ((pcs = (char *) shmat (cacheSynId, 0, 0)) == ((char *)-1)) {
  889.        cacheSynId = 0;
  890.        waislog (WLOG_HIGH, WLOG_WARNING, 
  891.             "Warning: cannot attatch shared memory segment for synonyms, caching disabled");
  892.      }
  893.      else {
  894.        for (shm_cnt = 0; shm_cnt < MAX_SYN_CACHE; 
  895.         shm_cnt++, pcs += sizeof(t_cacheSyn)) {
  896.          cs = (t_cacheSyn *) pcs;
  897.          cs->id = 0;
  898.          (cs->synfile)[0] = '\0';
  899.        }
  900.      }
  901.        }
  902.      }
  903. #endif
  904.  
  905.      while (TRUE) { /* be a server for several connections */
  906.        accept_client_connection(socket,&file);
  907.       
  908. #ifdef QUERY_FORK
  909.        if ((child_proc = fork()) == 0) {
  910. #endif          
  911.           /* grandson handles this connection
  912.            * double-fork takes care of zombies 
  913.            */
  914. #ifdef QUERY_FORK
  915.           if ((child_proc = fork()) == 0) { 
  916. #endif
  917.         wais_pid = getpid();
  918.         log_line = 0;
  919.         serve_client(file, file, index_dir);
  920.         /* but leaves server up */
  921.         close_client_connection(file);
  922.         close_server(socket);
  923.         /* just exits this child */
  924.         waislog(WLOG_MEDIUM, WLOG_CLOSE,
  925.             "Done handling client");
  926. #ifdef QUERY_FORK
  927.         exit(0);
  928.           } else {
  929.         /* son: orphans the grandchild, so init picks up 
  930.          * the exit status
  931.          */
  932.         exit(0);
  933.           }
  934.           } else {
  935.           waislog(WLOG_MEDIUM, WLOG_INFO,
  936.               "Child PID = %d", child_proc);
  937.           close_client_connection(file);     /* parent shouldn't keep the file */
  938.       }
  939. #endif
  940.       }
  941.    }
  942.   else if(use_stdio == TRUE)
  943.    { /* connections on stdio don't use child processes yet */
  944.      serve_client(stdin, stdout, index_dir);
  945.      waislog(WLOG_MEDIUM, WLOG_CLOSE,
  946.          "Done handling client");
  947.       /* close the whole thing */
  948.      if(0 != finished_search_engine())
  949.        panic("unable to close search engine");
  950.      exit(0);
  951.    }
  952. }
  953.  
  954. /*---------------------------------------------------------------------------*/
  955.  
  956.